人工智能间谍--大语言模型与情报分析

人工智能对于情报工作的作用远不止于处理大数据或起草低级报告。现在的大型语言模型（LLM）似乎也能读懂人类了。情报机构可以使用ChatGPT这样的大型语言模型做什么？会不会取代情报分析师？有专家认为，像ChatGPT这样的聊天机器人只能取代‘极其初级’的情报分析师。英国政府通信总部研究认为，大语言模型可能会对官僚流程做出一些贡献，例如“自动完成句子、校对电子邮件以及自动化某些重复性任务”。一切都非常乏味和行政化。考虑到此类模型偶尔会产生无意义的幻觉，当然需要检查它们的输出。最近的研究表明，大语言模型正在发生一些深刻的事情。可以将它们归为一门新的学术学科——“机器心理学”的一部分。他们共同表明，语言能力可以提供对人类思维的洞察——这对于情报机构来说肯定是有价值的。大语言模型正在迅速变得更强大，它们的推理能力也在一代又一代地提高。但对于情报机构来说，真正要“自动化某些重复性任务”还有很长的路要走。

大语言模型在情报分析方面的可能应用

假设可以克服这些障碍并适当管理风险，那么大型语言模型在情报分析方面有许多潜在的实际用途。这包括在情报界，手动处理大量数据历来是一个资源高度密集且耗时的过程。以下五个用例可以对情报分析流程进行重大改进。

1. 提升工作效率

目前法学硕士的最佳用途是作为“生产力助手”；自动完成句子、校对电子邮件以及自动执行某些重复性任务。与任何其他大型组织一样，这些将为情报界工作人员提供宝贵的效率提升

2. 自动化软件开发和网络安全

同样令人感兴趣的是使用大型语言模型来自动化软件开发。国家安全界部署的生产软件系统必须保持高标准的可靠性、安全性和可用性。比如英国GCHQ现在鼓励网络安全分析师从漏洞角度研究LLM编写的代码，以便其能够履行使命，提供建议和指导，确保英国和其的盟友免受网络安全威胁。未来（如果网络安全风险能够得到适当管理），LLM的使用可以显着提高情报界软件开发的效率。

3.自动生成情报报告

核心情报产品是情报报告：它代表了训练有素的分析师、语言学家和数据科学家的结论，他们分析收集的数据，为决策者和现场操作人员提供有关世界的见解。情报报告是具有高度影响力的文件，必须满足高准确性标准。因此，在可预见的未来，LLM不太可能生成完整的报告。然而，大型语言模型在报告起草的早期阶段可能会发挥作用，类似于将大型语言模型视为极其初级的分析师：一个团队成员，其工作在适当的监督下具有价值，但其产品却没有价值。

4.知识检索

虽然从生成文本模型中可以收集到一些有趣的见解，但一种改变游戏规则的能力将是一种能够以自我监督的方式从大量信息中提取知识的能力。知识不仅与言语有关，还与行为和实体、世界的状态以及它们之间的关系有关。该理论体系可以从大量文本中提取事实，确定“事实”随时间在何处以及如何演变，以及哪些实体（个人和组织）最具影响力。

5. 文本分析

事实证明，语言模型擅长识别文本模式并将关键实体重新组合成有用的摘要。这对于经常需要阅读并理解大量信息的分析师来说具有重大意义。总结大型文本的能力有可能显着提高分析师的工作效率，提出在源文本中被认为可以回答的问题以及识别多个文档中的主题或主题的能力也是如此。针对这些任务已经存在许多分析方法，但将LLM应用于这些任务的优势在于分析质量的潜在改进，以及无需漫长的开发周期即可立即部署这些分析的能力。

应用于情报分时LLM可能的改进

虽然这些能力很有前景，但当前一代的LLM将无法完全实现LLM增强情报工作的真正潜力。需要在所有三个协调标准（乐于助人、诚实和无害）方面做出重大改进。为了真正改变国家安全界的游戏规则，有必要对当前的技术水平进行一些根本性的改进。

1、可解释性

模型必须能够可靠地引用其见解并解释其如何得出结论。在国家安全背景下，捏造事实的模型是不可信的；因此，提供任何类型分析能力的模型必须能够为人类提供其主张的可验证来源。

2、快速更新和可定制

模型必须能够快速更新。目前的基础模型是在海量语料库上进行了很长一段时间的训练；因此，他们的最新信息会在培训时被锁定。为了能够在极其动态的关键任务情况下使用，必须有适当的机制来使用新信息“实时”更新模型。现在有一种新兴趋势，即根据特定社区的特定、高度相关的数据来训练和微调较小的模型，并取得令人鼓舞的结果。

3、与情报分析师的复杂推理过程保持一致

模型必须支持复杂的推理链和多模态推理。虽然LLM旨在能够“集中注意力”推理，但要在情报工作中发挥作用，他们需要能够支持可能是横向和反事实的复杂推理。最先进的LLM不太可能实现这一目标，因为反事实推理依赖于现实世界中实体之间关系的建模。神经符号网络等混合架构的发展，将神经网络的统计推理能力与符号处理的逻辑和可解释性相结合，似乎在这里提供了最大的潜力。

LLM的安全问题不容忽视

人们对LLM引发的大规模颠覆性、破坏性和犯罪行为表示严重担忧。其中三个值得特别关注：迅速的黑客攻击、降低的软件安全标准以及对民主进程的威胁。

1、即时黑客攻击

即时黑客攻击是指用户欺骗LLM提供错误或恶意结果的能力。2023年初，Twitter上出现了一次语言模型攻击，其中设置了一个机器人来响应无害的提示，例如响应有关带有新轮胎广告的汽车的推文。Twitter用户注意到他们可以用关键字欺骗模型，告诉它“忽略之前的提示并执行X”。这种能力要求人工智能规划任务的完成顺序并确定优先顺序，然后在无需用户干预的情况下执行这些任务。这远远超出了传统“聊天机器人”的能力，并使系统能够在现实世界中半自主地采取一系列行动，其中一些可能会产生意想不到的或危险的后果。因此，随着LLM与其他物理基础设施和数字资产的联系日益紧密，迅速的黑客攻击可能会带来新的、意想不到的安全风险。

2、网络安全标准降低

斯坦福大学研究人员最近的一项研究检查了使用CoPilot（基于LLM的源代码完成实用程序）编写的软件代码的安全问题。他们发现，有权访问CoPilot的用户编写的代码比没有访问CoPilot的用户编写的代码安全性更低，但他们坚信自己编写的代码更安全。人们还严重担心个人向ChatGPT等LLM提供专有或敏感信息，或者敏感信息在培训中被不当使用；这些问题有可能带来新的数据安全风险。OpenAI明确表示，输入ChatGPT提示的所有数据都可以用于训练AI，从而产生泄露敏感或秘密信息的风险。

3、对民主进程的威胁

通过大型语言模型等生成人工智能，国家行为者或有组织犯罪集团发起虚假信息活动的能力得到了显着提高。但更令人担忧的是，LLM现在使不太成熟的行为者和机会主义者能够造成重大损害，从而降低了邪恶行为者的进入门槛。这在过去几年中迅速成为国家安全威胁，并引发了描述“虚假信息杀伤链”发展的研究，让人想起黑客等更传统的网络攻击。此外，应对这种增加的风险可能需要防御性人工智能措施，能够与更多样化的参与者的虚假信息活动的数量和速度相匹配。

小结

尽管面临着一长串的挑战，LLM的新时代还是激发了公众的想象力。综合概念、描述推理步骤、解释想法甚至编写源代码的能力引发了人们对如何使用这种新的人工智能技术的大量猜测。

目前的LLM显示出作为基本生产力助手的巨大潜力，可以提高某些重复性情报任务的效率。但最有前途的用例仍然存在，未来的努力应该集中于开发能够理解正在处理的信息上下文的模型，而不仅仅是预测下一个单词可能是什么。情报界被赋予相当大的权力来收集和分析数据，这可能会导致产生重大后果的行动。情报工作大多是秘密进行的，如果天真地相信大型语言模型，可能会无意中将情报分析严谨性暴露给大量错误信息。在“幻觉”模型、不准确和谎言或有害内容所带来的风险与LLM可能带来的潜在好处之间，需要良好的权衡。

参考资源

1、https://wavellroom.com/2023/08/31/ai-spy/

2、https://cetas.turing.ac.uk/publications/large-language-models-and-intelligence-analysis